NewSQL: Масштабування розподілених ACID-транзакцій для глобальних застосунків

У сучасному світі, керованому даними, додатки вимагають як масштабованості, так і консистентності даних. Традиційні реляційні бази даних, хоча й забезпечують надійні гарантії ACID (Atomicity, Consistency, Isolation, Durability – атомарність, консистентність, ізольованість, довговічність), часто зазнають труднощів із горизонтальним масштабуванням. Бази даних NoSQL, з іншого боку, пропонують масштабованість, але зазвичай жертвують властивостями ACID на користь продуктивності. Бази даних NewSQL з'являються як золота середина, маючи на меті поєднати найкраще з обох світів: масштабованість і продуктивність NoSQL з гарантіями ACID традиційних RDBMS.

Що таке NewSQL?

NewSQL – це не окрема технологія баз даних, а скоріше клас сучасних систем керування реляційними базами даних (RDBMS), які прагнуть забезпечити ті ж гарантії ACID, що й традиційні системи баз даних, досягаючи при цьому масштабованості систем NoSQL. Вони розроблені для обробки великих обсягів транзакцій і великих обсягів даних, що робить їх придатними для сучасних розподілених застосунків.

По суті, системи NewSQL архітектовані для усунення обмежень традиційних RDBMS під час роботи в масштабі. Вони розподіляють дані та обробку між кількома вузлами, забезпечуючи горизонтальну масштабованість, водночас гарантуючи, що транзакції обробляються надійно та узгоджено.

Основні характеристики баз даних NewSQL

• Відповідність ACID: Бази даних NewSQL надають пріоритет властивостям ACID, щоб забезпечити цілісність і консистентність даних. Це вирішальна вимога для застосунків, які обробляють конфіденційні дані або вимагають суворих транзакційних гарантій, як-от фінансові системи або платформи електронної комерції.
• Масштабованість: Вони розроблені для горизонтального масштабування шляхом розподілу даних та обробки між кількома вузлами. Це дає їм змогу обробляти зростаючі робочі навантаження та обсяги даних без шкоди для продуктивності.
• SQL-інтерфейс: Більшість баз даних NewSQL надають SQL-сумісний інтерфейс, що полегшує розробникам міграцію наявних застосунків або використання їхніх наявних навичок SQL.
• Розподілена архітектура: Бази даних NewSQL зазвичай будуються на розподіленій архітектурі, що дає їм змогу досягти високої доступності та відмовостійкості.
• Продуктивність: Вони оптимізовані для високопродуктивної обробки транзакцій, часто використовуючи такі методи, як зберігання даних у пам'яті, розподілена обробка запитів і безблокове керування паралелізмом.

Архітектурні підходи в NewSQL

У реалізаціях баз даних NewSQL використовуються кілька архітектурних підходів. Ці підходи відрізняються тим, як вони досягають масштабованості та гарантій ACID.

1. Архітектура спільного використання без нічого (Shared-Nothing Architecture)

В архітектурі без спільного використання кожен вузол у кластері має власні незалежні ресурси (ЦП, пам'ять, сховище). Дані розділяються та розподіляються між цими вузлами. Ця архітектура забезпечує чудову масштабованість, оскільки додавання більшої кількості вузлів лінійно збільшує продуктивність системи. Приклади баз даних NewSQL, які використовують архітектуру без спільного використання, включають Google Spanner і CockroachDB.

Приклад: Уявіть собі глобальну платформу електронної комерції з користувачами по всьому світу. Використовуючи базу даних NewSQL без спільного використання, платформа може розподіляти свої дані між кількома географічно розподіленими центрами обробки даних. Це забезпечує низьку затримку для користувачів у різних регіонах і забезпечує високу доступність у разі регіональних відключень.

2. Архітектура спільної пам'яті (Shared-Memory Architecture)

В архітектурі спільної пам'яті всі вузли в кластері використовують один і той самий адресний простір пам'яті. Це забезпечує швидкий доступ до даних і зв'язок між вузлами. Однак ця архітектура зазвичай обмежена в масштабованості, оскільки спільна пам'ять стає вузьким місцем зі збільшенням кількості вузлів. Приклади баз даних (хоча й не зовсім NewSQL у чистому сенсі, але демонструють подібні підходи до масштабування транзакцій), які використовують цю архітектуру, включають певні кластери баз даних у пам'яті.

3. Архітектура спільного диска (Shared-Disk Architecture)

В архітектурі спільного диска всі вузли в кластері використовують одні й ті самі пристрої зберігання даних. Це спрощує керування даними та забезпечує високу доступність. Однак ця архітектура також може бути вузьким місцем, оскільки всі вузли повинні мати доступ до одного й того ж сховища. Деякі традиційні системи RDBMS, у кластерах, можна розглядати в ширшому контексті масштабованої обробки транзакцій, навіть якщо вони не позначені як NewSQL.

ACID-транзакції в розподіленому середовищі

Підтримка властивостей ACID у розподіленому середовищі є складним завданням. Бази даних NewSQL використовують різні методи для забезпечення консистентності та надійності даних.

1. Двофазний коміт (Two-Phase Commit, 2PC)

2PC – це широко використовуваний протокол для забезпечення атомарності між кількома вузлами. У 2PC вузол-координатор координує транзакцію між усіма вузлами-учасниками. Транзакція відбувається у два етапи: етап підготовки та етап коміту. Під час етапу підготовки кожен вузол готується до коміту транзакції та повідомляє координатору. Якщо всі вузли готові, координатор дає їм вказівку виконати коміт. Якщо будь-який вузол не може підготуватися, координатор дає вказівку всім вузлам скасувати транзакцію.

Проблема: 2PC може бути повільним і створювати єдину точку відмови (координатор). Тому сучасні системи NewSQL часто віддають перевагу альтернативним протоколам.

2. Алгоритми консенсусу Paxos і Raft

Paxos і Raft – це алгоритми консенсусу, які дають змогу розподіленій системі погодити єдине значення, навіть за наявності збоїв. Ці алгоритми часто використовуються в базах даних NewSQL для забезпечення консистентності даних і відмовостійкості. Вони забезпечують більш надійну й ефективну альтернативу 2PC.

Приклад: CockroachDB використовує Raft для реплікації даних між кількома вузлами та забезпечення консистентності всіх реплік. Це означає, що навіть якщо один вузол вийде з ладу, система може продовжувати працювати без втрати даних або неузгодженості.

3. TrueTime API від Spanner

Google Spanner використовує глобально розподілену систему позначення часу з зовнішньою консистентністю під назвою TrueTime. TrueTime забезпечує гарантовану верхню межу невизначеності годинника, що дає змогу Spanner досягти сильної консистентності між географічно розподіленими центрами обробки даних. Це дає змогу Spanner виконувати глобально розподілені транзакції з низькою затримкою та високою пропускною здатністю.

Значення: TrueTime є важливим компонентом архітектури Spanner, оскільки він дає змогу базі даних підтримувати серіалізацію, найсильніший рівень ізоляції, навіть у розподіленому середовищі.

Переваги використання баз даних NewSQL

• Масштабованість: Бази даних NewSQL можуть масштабуватися горизонтально для обробки зростаючих робочих навантажень і обсягів даних.
• Відповідність ACID: Вони забезпечують надійні гарантії ACID, забезпечуючи цілісність і консистентність даних.
• Продуктивність: Вони оптимізовані для високопродуктивної обробки транзакцій.
• Відмовостійкість: Вони розроблені як відмовостійкі, тобто вони можуть продовжувати працювати, навіть якщо деякі вузли вийдуть з ладу.
• SQL-сумісність: Більшість баз даних NewSQL надають SQL-сумісний інтерфейс, що полегшує міграцію наявних застосунків.

Випадки використання баз даних NewSQL

Бази даних NewSQL підходять для широкого спектру застосунків, які вимагають як масштабованості, так і консистентності даних. Деякі поширені випадки використання включають:

1. Фінансові застосунки

Фінансові застосунки, такі як банківські системи та платіжні процесори, вимагають суворих гарантій ACID для забезпечення точності та надійності фінансових транзакцій. Бази даних NewSQL можуть забезпечити масштабованість і продуктивність, необхідні для обробки великих обсягів транзакцій, зберігаючи при цьому цілісність даних.

Приклад: Глобальний платіжний шлюз, який обробляє мільйони транзакцій на день, потребує бази даних, яка може обробляти великий обсяг трафіку та забезпечувати правильну обробку всіх транзакцій. База даних NewSQL може забезпечити масштабованість і гарантії ACID, необхідні для задоволення цих вимог.

2. Платформи електронної комерції

Платформи електронної комерції повинні обробляти велику кількість одночасних користувачів і транзакцій. Бази даних NewSQL можуть забезпечити масштабованість і продуктивність, необхідні для обробки цього робочого навантаження, забезпечуючи правильну обробку замовлень і точне оновлення запасів.

Приклад: Великому інтернет-магазину потрібна база даних, яка може обробляти пікові навантаження під час святкових покупок. База даних NewSQL може масштабуватися для задоволення збільшеного попиту та забезпечувати обробку всіх замовлень без помилок.

3. Ігрові застосунки

Масово багатокористувацькі онлайн-ігри (MMO) повинні обробляти велику кількість одночасних гравців і складну ігрову логіку. Бази даних NewSQL можуть забезпечити масштабованість і продуктивність, необхідні для обробки цього робочого навантаження, забезпечуючи при цьому консистентність ігрового стану та неможливість шахрайства гравців.

Приклад: Популярній MMO-грі потрібна база даних, яка може обробляти мільйони одночасних гравців і забезпечувати консистентність усіх даних гравців. База даних NewSQL може забезпечити масштабованість і гарантії ACID, необхідні для задоволення цих вимог.

4. Управління ланцюгами поставок

Сучасні ланцюги поставок розподілені в усьому світі та вимагають видимості в реальному часі рівнів запасів, стану замовлень і відстеження відправлень. Бази даних NewSQL можуть забезпечити масштабованість і продуктивність, необхідні для обробки великого обсягу даних, створених системами ланцюга поставок, забезпечуючи при цьому точність і консистентність даних.

5. Платформи IoT (Інтернету речей)

Платформи IoT генерують величезні обсяги даних із підключених пристроїв. Бази даних NewSQL можна використовувати для зберігання та аналізу цих даних, надаючи інформацію про продуктивність пристрою, шаблони використання та потенційні проблеми. Вони також забезпечують надійне зберігання та обробку критичних даних IoT, таких як показання датчиків і команди керування.

Приклади баз даних NewSQL

Ось кілька помітних прикладів баз даних NewSQL:

• Google Spanner: Глобально розподілена, масштабована база даних із сильною консистентністю.
• CockroachDB: Розподілена база даних SQL, побудована на основі транзакційного та сильно консистентного сховища ключ-значення.
• TiDB: Розподілена база даних SQL з відкритим кодом, яка підтримує як онлайн-обробку транзакцій (OLTP), так і онлайн-аналітичну обробку (OLAP).
• VoltDB: SQL-база даних у пам'яті, яка масштабується та призначена для високошвидкісних даних і швидких рішень.
• NuoDB: Розподілена база даних SQL, розроблена для хмарних середовищ.

Вибір правильної бази даних NewSQL

Вибір правильної бази даних NewSQL для вашого застосунку залежить від кількох факторів, зокрема:

• Вимоги до масштабованості: Який обсяг даних і трафіку потрібно обробляти?
• Вимоги ACID: Наскільки важливі гарантії ACID для вашого застосунку?
• Вимоги до продуктивності: Як швидко потрібно обробляти транзакції?
• Середовище розгортання: Де ви будете розгортати базу даних (наприклад, локально, в хмарі)?
• SQL-сумісність: Наскільки важлива SQL-сумісність для ваших наявних застосунків і команди розробників?
• Вартість: Який ваш бюджет на базу даних?

Важливо ретельно оцінити свої вимоги та порівняти функції та продуктивність різних баз даних NewSQL, перш ніж приймати рішення. Розгляньте можливість запуску еталонних тестів, щоб перевірити продуктивність різних баз даних із вашим конкретним робочим навантаженням.

Майбутнє NewSQL

Бази даних NewSQL – це технологія, що швидко розвивається. Оскільки обсяги даних і складність застосунків продовжують зростати, попит на масштабовані та консистентні бази даних лише зростатиме. Ми можемо очікувати подальших інновацій в архітектурах, алгоритмах і інструментах NewSQL у найближчі роки.

Деякі потенційні майбутні тенденції в NewSQL включають:

• Більше хмарно-орієнтованих баз даних: Бази даних NewSQL дедалі більше розроблятимуться для хмарних середовищ, використовуючи переваги хмарно-орієнтованих технологій, таких як Kubernetes і безсерверні обчислення.
• Покращений географічний розподіл: Бази даних NewSQL стануть ще кращими в обробці географічно розподілених даних і забезпеченні доступу з низькою затримкою до даних з будь-якої точки світу.
• Інтеграція з машинним навчанням: Бази даних NewSQL дедалі більше інтегруватимуться з платформами машинного навчання, забезпечуючи аналітику в реальному часі та прийняття рішень на основі даних.
• Посилена безпека: Бази даних NewSQL міститимуть більш розширені функції безпеки для захисту конфіденційних даних від несанкціонованого доступу.

Висновок

Бази даних NewSQL пропонують переконливе рішення для застосунків, які вимагають як масштабованості, так і консистентності даних. Поєднуючи найкраще з традиційних RDBMS і баз даних NoSQL, бази даних NewSQL забезпечують потужну платформу для створення сучасних розподілених застосунків. Оскільки попит на масштабовані та консистентні бази даних продовжує зростати, NewSQL готовий відігравати дедалі важливішу роль у майбутньому керування даними.

Незалежно від того, чи створюєте ви фінансову систему, платформу електронної комерції, ігровий застосунок або платформу IoT, бази даних NewSQL можуть допомогти вам впоратися з проблемами масштабу та складності, забезпечуючи при цьому цілісність і надійність ваших даних. Розгляньте можливість дослідження світу NewSQL, щоб побачити, яку користь він може принести вашій організації.